本週要做的事
| 順序 | 內容 | 預估時間 |
|---|---|---|
| 1 | Ch.1 課程定位:從 ML/DL 進到 SOTA 物件偵測 | 10 min |
| 2 | Ch.2 物件偵測演進:RCNN → YOLO | 20 min |
| 3 | Ch.3 評估指標:IoU / mAP / NMS | 20 min |
| 4 | Ch.4 YOLOv5 推論實作 (Colab) | 20 min |
| 5 | Ch.5 訓練自訂 RPS 資料集 | 30 min |
| 6 | Ch.6 模型轉換 + 量化 (ONNX / TFLite + fp16) | 20 min |
| 7 | Ch.7 Android Java TFLite 部署(主菜) | 40 min |
| 8 | Ch.8-10 Tracking 觀念 + ByteTrack + Action Recognition | 30 min |
| 9 | Ch.11 研究級對比 + 作業 + Benchmark 文化 | 10 min |
教材檔案
-
📂 YOLO_Tracking.pptx (原始檔)
核心投影片
86 張,11 章節。※ PPT 待轉 PDF 後可線上檢視 - 共用模型 (
shared/assets/models/):yolov5s.pt— YOLOv5 預訓練(14.8 MB)yolov5s-fp16-nms.tflite— Android 部署版,fp16 量化 + NMS 內建
物件偵測演進(RCNN → YOLO)
從「找哪裡有東西」變成「找 + 分類」一步完成:
- R-CNN (2014):Selective Search 提 region + CNN 分類。慢
- Fast R-CNN (2015):RoI Pooling 共用特徵。快一點
- Faster R-CNN (2015):Region Proposal Network。再快
- YOLO (2016):一刀切,直接 grid 預測。從 two-stage 變 one-stage
- YOLOv5/v8/v11:工業界事實標準,容易訓練 + 部署
物件偵測的評估指標(W10 升級版)
IoU (Intersection over Union)
預測框與真實框的重疊面積 / 聯集面積。IoU > 0.5 才算「對」。
mAP (mean Average Precision)
不同 IoU 閾值下的平均 precision。業界標準,paper 必交。
NMS (Non-Maximum Suppression)
同一物件可能被預測多次,用 IoU 過濾保留最高信心那個。
FPS 與延遲
嵌入式系統的硬性指標 — 模型再強,跑不到 10 FPS 沒實用價值。
Android Java TFLite 部署 ⭐ 本週主菜
W10 路線 C/D 因為 tflite-runtime 沒 cp310 wheel,被迫走 Colab Local Runtime。本週跳過 Chaquopy,直接用 Java TFLite API(業界正解):
// Java 端
Interpreter tflite = new Interpreter(modelFile);
tflite.run(inputBuffer, outputBuffer);
關鍵工程坑
- Input shape 不符:先用
interpreter.getInputTensor(0).shape()確認 - NMS 後處理:export 時加
nms=True,省 Java 端 NMS 邏輯 - 推論慢:
Interpreter.Options().setNumThreads(4)或 GPU delegate - OOM:大模型 + Bitmap 雙重消耗,注意釋放 ImageProxy
Tracking 觀念與應用
偵測 = 每幀獨立找物件;追蹤 = 跨幀知道是同一個。應用:
- 雙手對戰 RPS — 知道左手選了什麼、右手選了什麼
- 運動分析 — 球員軌跡
- 監視系統 — 追隨可疑人物
- Action Recognition — 看一段軌跡判斷動作
現代 MOT (Multi-Object Tracking)
- SORT (Bewley 2016):Kalman + Hungarian 匹配
- DeepSORT (Wojke 2017):+ Re-ID 特徵
- ByteTrack (Zhang 2022):每個 detection 都用,效果好且快
W11 作業
三件套:訓練 + 部署 + 比較。詳見作業頁。
- YOLOv5 自訂 RPS 資料集訓練
- 轉成 TFLite + Android Java 部署
- 加入 ByteTrack 追蹤
- 跟 W10 ML/DL 比較(mAP、FPS、模型大小)
- 30 秒影片 + 簡易報告
學生檢核表
- 我理解 YOLO 為什麼比 R-CNN 快
- 我能說明 IoU、mAP、NMS 各自在做什麼
- 我會用 YOLOv5 訓練自訂資料集
- 我會用
model.export(format='tflite', nms=True) - 我能在 Android 上跑 Java TFLite (不透過 Chaquopy)
- 我理解 ByteTrack 的基本流程
下週預告 (W12)
第四種範式 — MediaPipe 骨架偵測:
- Hands 21 點 landmark 直接給(免訓練)
- 內部架構(palm detector + landmark estimator 兩階段)
- 用彎曲度算法做 RPS
- Action Recognition 從靜態到動態